Running the Gauntlet: Re-evaluating the Capabilities of Agents Beyond Familiar Environments
穿越考验：重新评估 Agent 在陌生环境中的泛化能力
🧭 Agent 评估基准 · 泛化能力探针
University of Oxford · SoftServe · Massachusetts Institute of Technology · The Chinese University of Hong Kong · UK AI Security Institute
提出 GauntletBench 基准，揭示当前最佳 Agent 在时间感知/图形理解/3D 推理任务上仅 19.1% 成功率，远低于人类 80%+。
📌 工作参考价值（4 点）
- 评估泛化缺口：当前推荐/电商 Agent 的评测也易陷入熟悉任务饱和，可借鉴 GauntletBench 设计新维度（如时间感知、图形理解）的任务集，揭示模型在真实业务场景的短板。
- 多模态能力补强：电商 Agent 常需理解 UI、处理含时间序列的数据（如库存变化、促销时段）或分析商品 3D 模型，该基准揭示的视觉推理缺陷提醒我们在构建 Agent 时需重点强化这些能力。
- 模块化评测框架：论文提供的 web 环境、任务套件与自动评测流水线可复用到电商 Agent 测试中，构建可重复、可对比的评测基准，降低人工评估成本。
- 人类基线锚定：用非专家人类表现（>80%）作为参照，量化 Agent 成熟度，帮助业务团队设定合理的自动化预期与优化目标。